#Variational Inference

3 篇

Conditionally Identifiable Latent-Environment Modeling for Out-of-Distribution Recommendation

面向分布外推荐的条件可识别潜在环境建模

🧭 分布外推荐 · 潜在环境识别

Southern University of Science and Technology · Massey University

提出可识别潜在环境的推荐框架，利用条件指数族和特征索引多项式建模偏好偏移，并通过边际化预测提升OOD鲁棒性

📌 工作参考价值（4 点）

在推荐模型中引入用户条件化的隐环境变量，用变分推断估计环境分布，然后对物品预测做边际化，可提升对季节、地域、营销活动等偏移的鲁棒性，直接用于精排或召回阶段
训练时使用风险上界（excess deployment log-risk）作为优化目标，可参考其推导出的一种稳健损失，结合环境推断误差联合优化，比单纯对抗训练或不变性约束更易落地
特征索引多项式作为解码器，能够精细刻画环境如何改变偏好，适合建模多维度偏移（如时间+地域），可迁移到电商跨域推荐或广告跨场景预估
可识别性理论保证在充足变化和正确模型设定下，所学表征有清晰语义，便于后续分析环境成因（如大促期间品类偏好变化），增强模型可解释性

RecSys | 2026-08-04 | cs.IR | score 7/10

BACH：多兴趣双塔检索的贝叶斯混合对比头模型

🧭 多兴趣双塔模型 · 变分混合路由 ★ 深度解读

Amazon

将多兴趣检索建模为用户混合模型，用变分推断产生软路由和个性化权重，缓解头坍缩并提升 top‑rank 质量。

📌 工作参考价值（4 点）

用软路由替代硬 argmax：训练时每个头都接收梯度，直接缓解 winner‑take‑all 头坍缩。电商多兴趣场景可避免热门品类独占所有头，提升冷门兴趣召回覆盖。
学习 per‑user 兴趣重要性权重 π_u：由门控塔单独产出，服务时结合到排名分数中，替代简单的 max‑union 或均匀加权。电商推荐中不同类目偏好强度差异大，用学习的重要性权重可更精准分配展示配额。
全局兴趣码书 + 预计算检索：当兴趣头固定为全局码书，仅 π_u 个性化，候选列表可离线预计算，实时服务只需按 π_u 重排缓存列表，省去每个用户的 ANN 查询。适合延迟敏感的大规模电商检索，且支持冷启动与新上下文快速适配。
训练‑服务一致性带来显著增益：实验证实对所有候选做 max‑over‑heads（all‑multihead）比仅在正样本上取 max 有 9–29% R@100 提升，提醒应始终让训练评分规则与服务一致。

RecSys | 2026-07-09 | cs.IR | score 9/10

软专家：基于α-Rényi集成的LLM不确定性感知后训练

🧭 LLM后训练集成与不确定性量化 ★ 深度解读

Imperial College London · Bessemer AI

用α-Rényi损失在经典变分贝叶斯和预测导向后验之间插值，训练一组互补LoRA专家，通过软路由实现专业化与不确定性量化。

📌 工作参考价值（4 点）

冲突目标解耦：在电商推荐等多目标场景（点击、转化、多样性彼此冲突），可训练多个LoRA适配器，用α-Rényi目标软路由不同用户或样本到不同专家，避免单模型折中，提升整体效果。
数据污染防御：α-Rényi责任权重会自动将异常样本（如刷单、错误标注）的路由集中在少数粒子，隔离对干净模型的梯度影响，提供一种低成本集成鲁棒性。
不确定性辅助决策：在Agent任务或敏感推荐中，利用粒子间预测分歧（如方差）估计认知不确定性，在不确定时触发人工审核或保守策略，实现可靠部署。
低成本集成与特化：共享冻结基座模型，仅训练LoRA副本，通过调整α（甚至动态调整）控制特化程度，在治理冲突时兼顾个体质量和集成多样性，适合资源受限的线上系统。

Training | 2026-05-26 | stat.ML | score 8/10